Status of operation data archiving system using Hadoop/HBase for J-PARC

菊澤 信宏; 池田 浩; 加藤 裕子; 大内 伸夫; 吉位 明伸*

Proceedings of 10th International Workshop on Personal Computers and Particle Accelerator Controls (PCaPAC 2014) (Internet), p.193 - 195, 2015/02

http://epaper.kek.jp/PCaPAC2014/papers/fpo016.pdf

J-PARCのLINAC, RCSから得られる制御に必要な大量なデータは現在PostgreSQLに格納しているが、データ量が日々増え続ける運転データベースの容量は10TBを超え、2020年には30TBから100TBに増えると予想されており、これらを安定的に管理する問題に直面している。これを解決するため、HadoopおよびHBaseを利用したデータアーカイビングシステムの開発を進めている。HBaseはHadoopの分散ファイルシステム上で構築され、複数のマシンで構成するクラスタを使用し、障害時の自動復旧や容量増設の容易性が利点として挙げられる。現在までに基本的なシステムの構築を終え、過去データの移行および長期運用を始めているが、Hadoop/HBaseのバージョンが上がることにともなってシステムの構成の見直しを行う必要が生じた。このデータアーカイビングシステムの現状について報告する。